Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming
智能体红队系统：自动提示注入攻击
🧭 Agent 红队测试与安全攻击
The Pennsylvania State University
提出PIMiner，通过多任务训练构建可迁移策略库，实现跨LLM的高效提示注入红队测试。
📌 工作参考价值（4 点）
- 对 Agent 推荐系统做安全评估时，可借鉴策略库思路：收集历史攻击成功案例，沉淀为可复用的策略模板，对新上线的 Agent 模块快速进行鲁棒性测试。
- 高度稀疏查询（每个样本仅需约 10 次查询）的做法，适合在线上生产环境以极低采样成本持续探测 Agent 是否有注入漏洞，避免大量无效请求影响服务。
- 跨模型迁移能力表明：可以基于少数开源模型训练出一套通用攻击策略库，再迁移到闭源商业模型（如 GPT-4）上做红队测试，业务中不必强行获取目标模型内部信息。
- 攻击成功样本可直接用于构造对抗训练数据，强化防御，从而让电商搜索 / 推荐 Agent 更稳健地处理不可信的外部内容（如商品描述、用户评价、工具返回结果）。